Khi Hà Vô Kị bị Lư Tuần đánh bại, nghĩa quân thừa thắng mà tiến, triều đình chấn động kinh hãi. Nghị sửa soạn thuyền hạm đi dẹp, sắp lên đường lại phát bệnh, mọi người đều lo lắng. Triều đình bàn bạc muốn đưa Đế lên phía bắc tìm đại quân của Lưu Dụ, thì ông khỏi bệnh, sắp đem quân nam chinh, Dụ gởi thư cho Nghị nói rằng: "Tôi cùng yêu tặc giao chiến, hiểu sự khác thường của họ. Nay việc sửa thuyền gần xong, (tôi) sẽ đi trước đập tan bọn chúng. Ngày dẹp xong giặc, công việc ở thượng lưu xin cùng nhau gánh vác." Lại sai em họ Nghị là Lưu Phiên đến ngăn cản, ông cả giận, nói với Phiên: "Chính ta ngày xưa đã đưa hắn lên cao, mày xem ta có chỗ nào không bằng Lưu Dụ!" rồi ném thư xuống đất.

Nghị bèn phát ra 2 vạn thủy quân đến Cô Thục. Tướng nghĩa quân là Từ Đạo Phúc khuyên thủ lĩnh Lư Tuần dốc toàn quân đánh Nghị, nghĩa quân hội họp ở Ba Lăng. Đôi bên giao chiến ở Tang Lạc châu, Nghị thua trận, bỏ thuyền, đem mấy trăm người lên bờ chạy trốn, những người còn lại đều bị nghĩa quân bắt được, quân nhu đầy khoang đều bị bỏ lại. Ông trên đường chạy trốn, đói khát khổ sở, những người đi theo chỉ còn sống sót hai, ba phần mười; Tham quân Dương Thúy hết sức bảo vệ, nên mới thoát nạn. Lưu Dụ an ủi rất nhiều, miễn hết tội trạng, cho giữ nguyên chức. Nghị bèn lấy Thúy làm Tư nghị tham quân.